STARE: Surprisal-Guided Token-Level Advantage Reweighting for Policy Entropy Stability
STARE：惊喜引导的令牌级优势重加权实现策略熵稳定
🧭 GRPO熵稳定性 · 惊喜引导重加权 ★ 深度解读
Tsinghua University · Tencent Hunyuan
基于惊喜分位数识别熵临界令牌并重加权其优势，配合目标熵闭环门控，稳定GRPO训练中的策略熵
📌 工作参考价值（4 点）
- 在LLM的RLVR训练（如生成式推荐、对话Agent的策略优化）中，使用令牌级惊喜（surprisal）分位数选取熵临界令牌进行优势重加权，可有效防止策略熵过早坍塌，维持输出多样性，避免模型陷入局部最优。
- 闭环目标熵门控策略可直接迁移：设定一个业务期望的熵目标（如不使生成结果过于单一），在批平均熵低于阈值时自动激活重加权，恢复后回退，实现无过度干预的稳定训练，适用于线上持续学习场景。
- 惊喜分位数代理（top-P%选择代替精确阈值计算）极其廉价，适合大规模分布式RL训练，可在不增加显著计算开销的情况下实施。
- 令牌级信用重新分配（放大正优势高惊喜令牌、衰减负优势高惊喜令牌）能鼓励模型探索“不常见但可能关键”的推理路径，对需要长程反思和自我纠错的Agent应用有直接增益。